纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言,在流行病学队列研究和临床登记处,我们面临的问题是在研究早期阶段中可以从数据中学到的问题,只有基线表征和一个后续测量。灵感来自最近的进步,允许将深度学习与动态建模相结合,我们调查这些方法是否可用于揭示复杂结构,特别是对于每个单独的两个观察时间点的极端小数据设置。然后,通过利用个体的相似性,可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器(VAES)如何作为深度学习方法,可以与普通微分方程(ODES)相关联用于动态建模,然后具体研究这种方法的可行性,即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务,以提供统计的视角。使用模拟数据,我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹,以及使用具有类似轨迹的个体群体,以及其崩溃的地方。结果表明,即使在极端的小数据设置中,这种动态深度学习方法也可能是有用的,但需要仔细调整。
translated by 谷歌翻译
Over the years, sequential Monte Carlo (SMC) and, equivalently, particle filter (PF) theory has gained substantial attention from researchers. However, the performance of the resampling methodology, also known as offspring selection, has not advanced recently. We propose two deterministic offspring selection methods, which strive to minimize the Kullback-Leibler (KL) divergence and the total variation (TV) distance, respectively, between the particle distribution prior and subsequent to the offspring selection. By reducing the statistical distance between the selected offspring and the joint distribution, we obtain a heuristic search procedure that performs superior to a maximum likelihood search in precisely those contexts where the latter performs better than an SMC. For SMC and particle Markov chain Monte Carlo (pMCMC), our proposed offspring selection methods always outperform or compare favorably with the two state-of-the-art resampling schemes on two models commonly used as benchmarks from the literature.
translated by 谷歌翻译
Explainable AI (XAI) is slowly becoming a key component for many AI applications. Rule-based and modified backpropagation XAI approaches however often face challenges when being applied to modern model architectures including innovative layer building blocks, which is caused by two reasons. Firstly, the high flexibility of rule-based XAI methods leads to numerous potential parameterizations. Secondly, many XAI methods break the implementation-invariance axiom because they struggle with certain model components, e.g., BatchNorm layers. The latter can be addressed with model canonization, which is the process of re-structuring the model to disregard problematic components without changing the underlying function. While model canonization is straightforward for simple architectures (e.g., VGG, ResNet), it can be challenging for more complex and highly interconnected models (e.g., DenseNet). Moreover, there is only little quantifiable evidence that model canonization is beneficial for XAI. In this work, we propose canonizations for currently relevant model blocks applicable to popular deep neural network architectures,including VGG, ResNet, EfficientNet, DenseNets, as well as Relation Networks. We further suggest a XAI evaluation framework with which we quantify and compare the effect sof model canonization for various XAI methods in image classification tasks on the Pascal-VOC and ILSVRC2017 datasets, as well as for Visual Question Answering using CLEVR-XAI. Moreover, addressing the former issue outlined above, we demonstrate how our evaluation framework can be applied to perform hyperparameter search for XAI methods to optimize the quality of explanations.
translated by 谷歌翻译
语言的视觉基础旨在用多种视觉知识来源(例如图像和视频)丰富语言表示。尽管视觉接地是一个深入研究的领域,但视觉接地的语言方面并没有得到太多关注。本研究调查了单词嵌入的语法视觉基础。我们在两个视觉和语言空间之间提出了一种隐式对齐技术,其中语言之间的文本信息相互作用以丰富预训练的文本单词嵌入。我们专注于实验中的三种语言,即英语,阿拉伯语和德语。我们获得了这些语言的视觉接地矢量表示形式,并研究了一种或多种语言的视觉接地是否改善了嵌入在单词相似性和分类基准上的嵌入性能。我们的实验表明,语法知识可以改善类似语言(例如德语和英语)的扎根嵌入性能。但是,德语或英语用阿拉伯语的语言基础导致单词相似性基准的性能略有降解。另一方面,我们观察到了分类基准的相反趋势,而阿拉伯语对英语的进步最大。在讨论部分中,提出了这些发现的几个原因。我们希望我们的实验为进一步研究的基线提供了有关语法间视觉接地的基准。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
深度代码生成是软件工程深度学习(DL4SE)的主题,该主题采用神经模型来为预期功能生成代码。由于端到端的神经方法缺乏对域知识和软件层次结构的认识,因此结果通常需要手动校正。为了系统地探索代码生成的潜在改进,我们让IT参与从意图到实现的整个自上而下的发展,这在有限的范围中是可能的。在此过程中,它受益于大量样本,功能和知识。作为基金会,我们建议对代码数据(即代码分类法)建立分类法,利用代码信息的分类。此外,我们引入了三层语义金字塔(SP)以关联文本数据和代码数据。它标识了不同的抽象水平的信息,因此介绍了有关开发的领域知识,并揭示了软件的层次结构。此外,我们提出了一个语义金字塔框架(SPF)作为方法,重点是高模块化和低复杂性的软件。 SPF将代码生成过程分为阶段,并为潜在的相互作用提供储量。最终,我们为SPF构思了应用程序范围。
translated by 谷歌翻译
视觉假冒物越来越多地导致具有神经图像合成方法快速演变的主流介质中的存在难题。尽管对这种伪造的发现一直是图像法医社区中的一个征税问题,但最近的法医探测器(通用探测器)都能够出人意料地发现伪造的图像,无论发电机架构,损失功能,培训数据集和解决方案如何。这种有趣的属性表明,通用检测器中可能存在可转移的法医特征(T-FF)。在这项工作中,我们进行了第一个分析研究,以发现和理解通用探测器中的T-FF。我们的贡献是2倍:1)我们提出了一个新颖的法医功能相关统计量(FF-RS),以量化和发现通用检测器中的T-FF,以及2)我们的定性和定量研究发现了一个意外的发现:颜色是关键的发现:通用检测器中的T-FF。代码和型号可在https://keshik6.github.io/transferable-forensic-features/
translated by 谷歌翻译
FIB/SEM断层扫描代表了电池研究和许多其他领域中三维纳米结构表征的必不可少的工具。然而,在许多情况下,对比度和3D分类/重建问题出现,这极大地限制了该技术的适用性,尤其是在多孔材料上,例如电池或燃料电池中用于电极材料的材料。区分不同的组件(例如主动LI存储颗粒和碳/粘合剂材料)很困难,并且通常可以防止对图像数据进行可靠的定量分析,甚至可能导致关于结构 - 质地关系的错误结论。在这项贡献中,我们提出了一种新型的数据分类方法,该方法是通过FIB/SEM断层扫描获得的三维图像数据及其在NMC电池电极材料中的应用。我们使用两个不同的图像信号,即Angled SE2腔室检测器和Inlens检测器信号的信号,将信号组合在一起并训练一个随机森林,即特定的机器学习算法。我们证明,这种方法可以克服适合多相测量的现有技术的当前局限性,并且即使在当前的最新技术失败或对大型训练集的需求之后,它也可以进行定量数据重建。这种方法可能会作为使用FIB/SEM断层扫描的未来研究指南。
translated by 谷歌翻译
知识图(kgs)中的实体类型信息(例如DBPEDIA,FREEBASE等)通常由于自动产生或人类策划而通常不完整。实体键入是在kg中分配或推断实体的语义类型的任务。本文介绍了\ textit {grand {grand},这是一种实体键入的新方法,利用RDF2VEC中的不同图形步行策略以及文本实体描述。 RDF2VEC首先生成图形步行,然后使用语言模型来获取图中每个节点的嵌入。这项研究表明,步行生成策略和嵌入模型对实体打字任务的性能有重大影响。所提出的方法的表现优于基准数据集DBPedia和Figer在kgs中的实体和小颗粒类别的实体。结果表明,订单感知RDF2VEC变体的组合以及文本实体描述的上下文嵌入可实现最佳结果。
translated by 谷歌翻译
分销语义提供了研究形态学语义的新方法。这项研究的重点是名词奇异人的语义及其在英语中的复数变种变体。我们的目标是比较两个模型的多元化概念化。一个模型(FRACSS)提出,在预测来自单数语义的复数语义时,应考虑所有奇异对。另一个模型(CCA)认为,多元化的概念化主要取决于基本单词的语义类别。我们根据大量的美国英语语音与两个模型预测的语义矢量相一致的大量语料库中复数代币的语音信号的方式进行比较。采用了两项措施:表单与义映射的性能以及形式距离和含义距离之间的相关性。结果收敛于CCA的优质比对。我们的结果表明,基于用法的多元化方法,其中给定单词自己的语义社区的优先级优于理论,根据该理论,多元化被概念化为基于高级抽象的过程。我们看到,经常被认为是一个高度抽象的概念,[+复数]可以通过中级部分概括的家庭更好地捕获。
translated by 谷歌翻译